本篇文章是 Netflix 的內部架構技術分享文,本篇文章要探討的是當 Netflix 內部大量採用 Google Drives(Sheets, DDocs, Slides...etc)進行檔案分享時所遇到的問題,以及 Netflix 是如何解決這些問題的。
問題: 對 Netflix 來說,由於下列兩個理由,導致目前 Google Drive 上大概有兩千萬的檔案
1. Netflix Studio 的合作夥伴大量使用 Google Service 來傳輸資料
2. 資料科學家需要將資料複製回本地的 Data 倉庫進行分析。
Netflix 內部為了方便存取這些資料,透過程式化的方式透過 Google API 來存取這些大量成長的資料,然而這樣的方式卻導致了兩個很麻煩的問題
1. 應用程式開發者與資料科學家必須要各自維護存取 Google 服務的帳號密碼,同時很多程式碼會大量的被重複開發。
2. 從可觀測性系統來說,到底有哪些檔案資料從 Google Drive 與 Data 倉庫移動是很不清楚的。
Netflix 為了解決這些問題,決定自行打造一個 Service Proxy 來處理所有流向 Google Services 的請求。透過這個中介層的服務,Google 服務認證的部分就可以有效率的於 Proxy 這層來處理掉,同時也能夠透過 Log 的方式來記錄到底哪些檔案目前正在移動,彌補了過往可觀性系統的缺失。
文中先介紹了關於 Google API 的架構,Netflix 內部原先大部分都透過 Python 或 Java 等程式語言來撰寫 Client 端的應用程式。為了讓整個 Proxy 能夠更有效的處理 Credential 的部分,Netflix 這邊還導入的內部工具(Metatron) 來管理這些資訊。
其他相關資訊還有
1. Proxy 基於 Java 開發
2. 使用 gRPC 來產生不同語言的 endpoints,統一由 Proxy 將請求轉為 HTTP 送往 Google 處理
此外,為了讓 Netflix 內部的所有人都可以很輕鬆的於 Google Drive 與 Data 倉庫間來更動資料, Netflix 為此打造一個可排程的 Job 來默默執行。文章後半段主要在介紹這個 Job 的架構與用法
對於全文有興趣的都歡迎閱讀~
https://netflixtechblog.medium.com/data-movement-for-google-services-at-netflix-9a77ca69f7c4
「兩個google drive帳號間移動檔案」的推薦目錄:
- 關於兩個google drive帳號間移動檔案 在 矽谷牛的耕田筆記 Facebook 的精選貼文
- 關於兩個google drive帳號間移動檔案 在 蘋果仁 Facebook 的精選貼文
- 關於兩個google drive帳號間移動檔案 在 [問題] 兩個Google Drive帳號的檔案傳送- 看板Free_box 的評價
- 關於兩個google drive帳號間移動檔案 在 google雲端轉移ptt的推薦與評價, 網紅們這樣回答 的評價
- 關於兩個google drive帳號間移動檔案 在 [問卦] 雲端硬碟擴充,哪種方案比較划算?- 看板Gossiping 的評價
- 關於兩個google drive帳號間移動檔案 在 Google drive 遷移ptt 的評價
- 關於兩個google drive帳號間移動檔案 在 奇蹟餐廳1 下載ptt site ptt ccm - 2023 - asironi.uk 的評價
兩個google drive帳號間移動檔案 在 蘋果仁 Facebook 的精選貼文
無痛搬移 Google Drive 內的檔案
使用教育帳號的人快看
兩個google drive帳號間移動檔案 在 [問卦] 雲端硬碟擴充,哪種方案比較划算?- 看板Gossiping 的推薦與評價
還有我搞不清楚現在到底叫Google One 還是Google Drive!? ... (二)不同Google帳號間的檔案轉移每個Google帳號有15G免費空間之前是用創建新帳號的方式來 ... ... <看更多>
兩個google drive帳號間移動檔案 在 Google drive 遷移ptt 的推薦與評價
如果你是「備份與同步」的使用者,從幾個月前應該就已經陸續收到要求轉換的 ... 甚至會多開一個帳號來使用,如果要在兩個帳號間移動Google Drive 的檔案該怎麼做? ... <看更多>
兩個google drive帳號間移動檔案 在 [問題] 兩個Google Drive帳號的檔案傳送- 看板Free_box 的推薦與評價
我手上有兩個Google無限空間的帳號
比如說A、B兩個帳號好了
我現在要將A的某個資料夾(大概有3T大)
整個複製一份給B帳號
不是分享喔
是B帳號底下確實也有一份檔案
以前我試過檔案不大的話用 https://goo.gl/A7LBGm
Chrome的擴充套件Copy, URL to Google Drive
都可以順利用
可是這次可能是檔案比較多比較大
用了一陣子後開始有一堆錯誤訊息
我有稍微查一下
好像是說api的流量限制到了之類的
因為檔案太大了
實在不希望下載下來又再傳上去一次
請問還有些什麼辦法呢?
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 122.254.30.65
※ 文章網址: https://www.ptt.cc/bbs/Free_box/M.1492061375.A.EAE.html
這次我只搬一個2.6G的mp4檔
才單單一個檔
就出現Error. User rate limit exceeded了...
我只能研究Error. User rate limit exceeded以外的方法了~~
我目前暫時先用 https://www.multcloud.com 跑了
速度很慢
不曉得付費的話是不是速度會快非常多?
rclone的研究好久還是不會
我手上的影片是放在NAS上
但主要目的還是希望雲端上兩個Google帳號可以同步這樣
也試過了好幾個類似 https://goo.gl/Bi07NH 的工具
幾乎都是卡在影片上 (Error. User rate limit exceeded)
但影片太多了
不太可能會去做改檔名或壓縮之類的
好像只能靠multcloud的是嗎?
正在試用中
如果是雲端A對雲端B的話
他這軟體看起來還滿像是透過PC做一個中介
一邊從A下載到電腦的暫存空間後馬上又同時上傳到B那邊去
其實算是可以用的
如果不靠這軟體的話
純手動把整個A下載下來再上傳B
除了麻煩外
還怕自己本地端的容量太小
靠這軟體好像就可以順利解決
我再多摸一下
滿有可能就買他了~
太謝謝了
還不錯 起伏的話比較容易發生在零碎的小檔(幾十KB那種大小)
當開始傳幾十MB、好幾G的那種大小的影片時速度很穩定
我的頻寬都有吃滿
smartftp的話我找時間研究一下
不曉得是不是跟以往的FTP軟體操作模式一樣:
先下載下來後,再自行手動上傳到另一端
還是跟air explorer一樣
可以直接A傳B (電腦本身中繼暫存檔)
讓我知道兩個Google Drive帳號間檔案的傳送方式
目前看起來是
MultCloud ( https://www.multcloud.com/ )
cloudHQ ( https://www.cloudhq.net )
rclone
Air Explorer (本機端軟體)
GoodSync (本機端軟體)
SmartFTP (本機端軟體)
我都會再花時間都研究看看
還有其他可用的方法我再繼續整理在這篇
不過我很納悶的是rclone
不用中繼的話
總是會有個平台之類的去處理
畢竟也是要消耗些資源
那這平台是誰提供的?
因為如果有中繼到自己電腦的話
電腦可以負責處理這方面橋接的問題
MultCloud也是他們網站的主機負責
是說如果rclone設定好以後
腳本(指令)上傳到某個地方就可以電腦關機讓他雲端離線處理了嗎?
當然最佳解就是速度快+可雲端處理免一直開著電腦是最好了
對rclone還是不太了解
這樣感覺合理多了
畢竟總要有個平台或資源去處理這方面的動作才是
不可能這麼神奇憑空就這樣將雲端上A、B兩個檔案直接傳過去
可惜google本身不提供
不然他願意的話 檔案都是在他們上面
這樣做對他們沒什麼難度才是
有操作過了
處理到影片檔的部分就會失敗
如果是壓縮檔(好像好幾G吧)
用這種複製+分享的操作有成功過~
我有試到一個東西
比如說A帳號要丟檔案到B帳號時
B開個共享資料夾(有新增權限的)給A
A將檔案移動到被共享的資料夾以後
B將整個共享權限收回後
雖然檔案一樣擁有者掛名是A
但A那邊將檔案刪掉、垃圾桶清空後
B收到的那個檔案不會不見
有種情況會不見
就是B如果收到的是個資料夾且裡面有裝一些檔案
你把裡面個別檔案移出去就會消失掉
等於是檔案一定要跟著原本過來的資料夾底下
所以說剛剛的例子的話
如果A能把要丟給人的檔案或資料夾先複製一份出來
用剛的方式去搬移就可以了
但問題是純粹複製一份自己帳號本身的東西
都有時成功、有時失敗了
(失敗時會有類似User rate limit exceeded訊息)
如果這部分不能解決也沒用就是
檔案小的話還可以
量大一點的話這招好像行不通
還是要依照推文中的方法
老老實實去處理
又多了些選擇了
我上傳每秒3.5MB 隨時都有種想辦至少是100M/100M的衝動..
上傳速度變得超重要的啊!
我的NAS是Synology DS716+
可以讓NAS端與雲端之間做同步
但等之後NAS端硬碟不夠
改成單向上傳的話
雲端檔案量遠大於NAS端時
接下來勢必就是空間夠大的雲端對雲端同步了
NAS目前沒看到類似air explorer的套件
之後大概就是要長期把電腦開著掛機了
欸幹 30T到底是啥小! 為什麼這麼大
突然才想到這問題
(我的5T都是電影檔)
都會有類似的錯誤訊息
Error, GoogleJsonResponseException: User rate limit exceeded
我看上面有成功的都是小的檔案
影片檔都會失敗
後來我有寫信並附上以上那張圖去問作者:
我問:
我的Google帳號是無限空間的
會有這樣的錯誤訊息是因為我的檔案太大還是什麼原因呢?
這是他回信給我的答覆:
This isn't related to your account type,
it is just a bug in the app.
Also related to the way Google allows free services to run.
Unfortunately there is no solution at this time.
I works recommend trying again in a few hours.
網路沒用個100M/100M的還真不夠用 :(
※ 編輯: ak77now (122.254.30.65), 04/18/2017 20:17:17
... <看更多>